<html lang="en-US">

<head>
    
<title>Go1.17 新特性：对 Go 依赖管理的一把大剪刀 - 花落雨忧</title>

<meta property="og:title" content="Go1.17 新特性：对 Go 依赖管理的一把大剪刀 - 花落雨忧">



    



    
    <meta property="description" content="大家好，我是煎鱼。
不得不说。我可是个经历过 Go 依赖管理群魔乱舞，Go modules 迁移一堆 BUG 的人儿，难顶&amp;hellip; 为此当年我写了不少技术文章，希望给大家避坑。
如下：
[&amp;hellip;] 在近期 Go1.17 发布后，Go modules 带来了两大更新，煎鱼摩拳擦掌，他们分别是：
[&amp;hellip;] 今天带大家一起来了解这两块内容，争取了解其为何物，背景又是什么。 &amp;hellip;">
    <meta property="og:description" content="大家好，我是煎鱼。
不得不说。我可是个经历过 Go 依赖管理群魔乱舞，Go modules 迁移一堆 BUG 的人儿，难顶&amp;hellip; 为此当年我写了不少技术文章，希望给大家避坑。
如下：
[&amp;hellip;] 在近期 Go1.17 发布后，Go modules 带来了两大更新，煎鱼摩拳擦掌，他们分别是：
[&amp;hellip;] 今天带大家一起来了解这两块内容，争取了解其为何物，背景又是什么。 &amp;hellip;">
    






<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width,initial-scale=1">

<link rel="shortcut icon" href="https://www.lican.asia/logo/logo.png" type="image/x-icon" />



<link rel="stylesheet" href="/css/style.min.css" />

<link rel="stylesheet" href="/css/reset.min.css" />




<script src="https://www.lican.asia/js/highlight.min.js"></script>

<script>
hljs.configure({ ignoreUnescapedHTML: true })
hljs.highlightAll();
</script>


<script src="https://www.lican.asia/js/jquery.min.js"></script>




<link href="https://www.lican.asia/css/hugo-code.min.css" rel="stylesheet" />



    <style>
        .post-content img {
            max-width: 400px;
        }
    </style>
</head>

<body id="period" class="home blog">
    <a class="skip-content" href="#main">Press "Enter" to skip to content</a>
    <div id="overflow-container" class="overflow-container">
        <header class="site-header" id="site-header" role="banner">
    <div class="max-width">
        <div id="title-container" class="title-container">
            <div id="site-title" class="site-title"><a href="/">花落雨忧</a></div>
            <p class="tagline">思所及 力所行 方为真.</p>
        </div>
        
        <div id="menu-primary-container" class="menu-primary-container">
            <div class="icon-container">
            </div>
            <div id="menu-primary" class="menu-container menu-primary" role="navigation">
                <nav class="menu">
                    <ul id="menu-primary-items" class="menu-primary-items">
                        
                        
                        <li id="menu-item-0"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/posts" aria-current="page" tabindex="0">首页</a></li>
                        
                        <li id="menu-item-1"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/tech/" aria-current="page" tabindex="1">技术文档</a></li>
                        
                        <li id="menu-item-2"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/article/" aria-current="page" tabindex="2">文章</a></li>
                        
                        <li id="menu-item-3"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/project/" aria-current="page" tabindex="3">项目</a></li>
                        
                        <li id="menu-item-4"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/about/" aria-current="page" tabindex="4">关于</a></li>
                        
                    </ul>
                </nav>
            </div>
        </div>
    </div>
</header>

        <div id="primary-container" class="primary-container">
            <div class="max-width">
                <section id="main" class="main" role="main">
                    <div id="loop-container" class="loop-container">
                        <div
                            class="post type-post status-publish format-standard hentry entry">
                            <article>
                                <div class="post-container">
                                    <div class="post-header">
                                        <h2 class="post-title">
                                            <a href="/posts/posts/go/117-module-pruning-lazy/">Go1.17 新特性：对 Go 依赖管理的一把大剪刀</a>
                                        </h2>
                                        
                                        <div class="post-byline">Published on
                                            <a class="date" href="javascript:;">2021/12/31</a>
                                            
                                            
                                            
                                            
                                            
                                        
                                    </div>
                                    <div class="post-content">
                                        <p>大家好，我是煎鱼。</p>
<p>不得不说。我可是个经历过 Go 依赖管理群魔乱舞，Go modules 迁移一堆 BUG 的人儿，难顶&hellip;
为此当年我写了不少技术文章，希望给大家避坑。</p>
<p>如下：</p>
<ul>
<li><a href="https://mp.weixin.qq.com/s/6gJkSyGAFR0v6kow2uVklA">Go Modules 终极入门</a></li>
<li><a href="https://mp.weixin.qq.com/s/uUNTH06_s6yzy5urtjPMsg">干货满满的 Go Modules 知识分享</a></li>
<li><a href="https://mp.weixin.qq.com/s/0g89yj9sc1oIz9kS9ZIAEA">Go1.16 新特性：Go mod 的后悔药，仅需这一招</a></li>
</ul>
<p>在近期 Go1.17 发布后，Go modules 带来了两大更新，煎鱼摩拳擦掌，他们分别是：</p>
<ul>
<li>模块依赖图裁剪（module graph pruning）</li>
<li>延时模块加载（lazy module loading）</li>
</ul>
<p>今天带大家一起来了解这两块内容，争取了解其为何物，背景又是什么。</p>
<h2 id="背景">背景</h2>
<p>在日常的 Go 工程开发中，不知道你有没有遇到过 Go modules 的一个奇怪的点。大家没说，就以为是正确的，默认就接受了。</p>
<p>引用官方的 <a href="https://github.com/golang/go/blob/4012fea822763ef3aa66dd949fa95b9f8d89450a/src/cmd/go/testdata/script/mod_lazy_new_import.txt" title="mod_lazy_new_import.txt">mod_lazy_new_import.txt</a> 的案例来说，就是假设我们在代码中：</p>
<ul>
<li>main module 是 lazy。其导入了 module A 的 package x，package x 又导入了 module B。</li>
<li>main module lazy 也相当于同时导入了 module A 的 package y。</li>
<li>module A 的 package y 又导入了 module C 的 package z。</li>
</ul>
<p>关联如下图所示：</p>
<p><img src="https://image.eddycjy.com/d535e2d41648a346c08c41ac38eff6b9.jpg" alt="module 关联图示"></p>
<p>这个 Go 程序如果运行起来，会发生什么情况呢？<strong>在 Go1.17 以前，如果你不存在 module C 的 package z</strong>，程序在编译构建的时候就会报错，提示找不到。</p>
<p>实际上 module C 的 package z 并没有<strong>对你主程序有任何建设意义</strong>，俗话来讲就是 “占着茅坑不拉屎”。</p>
<p>他只是因为 main module 在导入 module A 时，也被 “间接” 导入了 package y 的依赖，也就是我们常看到的 go.mod 文件中的 “indirect” 标识，他们会导致构建失败，让人直呼无奈。</p>
<h2 id="go117-module-改进">Go1.17 module 改进</h2>
<p>显然，社区反馈希望避免看到 “不相关” 的传递依赖等，也因此有了 Go1.17 的 module 改造。</p>
<p><img src="https://files.mdnice.com/user/3610/e69f5155-3334-462f-b021-bee477c62c49.png" alt=""></p>
<p>接下来的 module 例子我们将会结合提案 <a href="https://go.googlesource.com/proposal/+/master/design/36460-lazy-module-loading.md" title="Proposal: Lazy Module Loading">《Proposal: Lazy Module Loading》</a> 、<a href="https://github.com/golang/go/issues/36460" title="cmd/go: module graph pruning and lazy module loading">《cmd/go: module graph pruning and lazy module loading》</a> 以及 《<a href="https://golang.google.cn/ref/mod#graph-pruning" title="Module graph pruning">Module graph pruning</a>》的内容、案例来进行说明和介绍。</p>
<h3 id="module-graph-pruning">module graph pruning</h3>
<p>第一个改进就是模块依赖图裁剪（module graph pruning），这是这个版本 module 优化的基础。</p>
<p>在 Go1.17 以前，只要该项目的 go.mod 文件分析出来你存在间接的依赖，如果你没有安装过该依赖，就会出现报错。</p>
<p>错误提示如下：</p>
<div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-golang" data-lang="golang"><span style="display:flex;"><span><span style="color:#960050;background-color:#1e0010">$</span> <span style="color:#66d9ef">go</span> <span style="color:#a6e22e">build</span>
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">go</span>: <span style="color:#a6e22e">example</span>.<span style="color:#a6e22e">com</span><span style="color:#f92672">/</span><span style="color:#a6e22e">a</span><span style="color:#960050;background-color:#1e0010">@</span><span style="color:#a6e22e">v0</span><span style="color:#ae81ff">.1.0</span> <span style="color:#a6e22e">requires</span>
</span></span><span style="display:flex;"><span> <span style="color:#a6e22e">example</span>.<span style="color:#a6e22e">com</span><span style="color:#f92672">/</span><span style="color:#a6e22e">c</span><span style="color:#960050;background-color:#1e0010">@</span><span style="color:#a6e22e">v0</span><span style="color:#ae81ff">.1.0</span>: <span style="color:#a6e22e">missing</span> <span style="color:#66d9ef">go</span>.<span style="color:#a6e22e">sum</span> <span style="color:#a6e22e">entry</span>; <span style="color:#a6e22e">to</span> <span style="color:#a6e22e">add</span> <span style="color:#a6e22e">it</span>:
</span></span><span style="display:flex;"><span> <span style="color:#66d9ef">go</span> <span style="color:#a6e22e">mod</span> <span style="color:#a6e22e">download</span> <span style="color:#a6e22e">example</span>.<span style="color:#a6e22e">com</span><span style="color:#f92672">/</span><span style="color:#a6e22e">c</span>
</span></span></code></pre></div><p>这个时候我们都会默默地去安装一遍&hellip;没想过这是间接依赖，和我们的程序没一点直接的代码关系。</p>
<p>在 Go1.17 及之后就变了，go.mod 文件如下，会存在 2 块 require 代码块：</p>
<div class="highlight"><pre tabindex="0" style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-golang" data-lang="golang"><span style="display:flex;"><span><span style="color:#a6e22e">module</span> <span style="color:#a6e22e">example</span>.<span style="color:#a6e22e">com</span><span style="color:#f92672">/</span><span style="color:#a6e22e">lazy</span>
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#66d9ef">go</span> <span style="color:#ae81ff">1.17</span>
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#a6e22e">require</span> <span style="color:#a6e22e">example</span>.<span style="color:#a6e22e">com</span><span style="color:#f92672">/</span><span style="color:#a6e22e">a</span> <span style="color:#a6e22e">v0</span><span style="color:#ae81ff">.1.0</span>
</span></span><span style="display:flex;"><span>
</span></span><span style="display:flex;"><span><span style="color:#a6e22e">require</span> <span style="color:#a6e22e">example</span>.<span style="color:#a6e22e">com</span><span style="color:#f92672">/</span><span style="color:#a6e22e">b</span> <span style="color:#a6e22e">v0</span><span style="color:#ae81ff">.1.0</span> <span style="color:#75715e">// indirect
</span></span></span><span style="display:flex;"><span><span style="color:#75715e"></span><span style="color:#f92672">...</span>
</span></span></code></pre></div><p>这就是区别，第一块的 require 我们眼熟，那分拆出来的第二块 require 的是什么呢？</p>
<p>这就是那些模块的间接依赖（常见到的 indirect 标识依赖）。可以理解为像是其他语言的 xxx.lock 文件一样的存在。</p>
<p>此处分析出来的间接依赖，将会不会像以前一样阻碍编译构建，只会真正有使用到的才会进行识别。</p>
<h3 id="lazy-module-loading">lazy module loading</h3>
<p>第二个改进是延时模块加载（lazy module loading），是基于模块依赖图裁剪（module graph pruning）的场景上的进一步优化。</p>
<p>也就是以往那些没被使用到的，但又间接依赖的模块。在 Go1.17 及以后不会被 Go 命令读取和加载，只有真正需要的时候才会加载。</p>
<h3 id="副作用">副作用</h3>
<p>Go module 依赖图裁剪也带来了一个副作用，那就是 go.mod 文件 size 会变大。</p>
<p>在 Go 1.17 版本之后，每次 go mod tidy（当go.mod中的go版本为1.17时），Go 命令都会对 main module 的依赖做一次深度扫描（deepening scan）。</p>
<p>该操作将 main module 的所有直接和间接依赖都记录在 go.mod 中，考虑到内容较多，Go 1.17 将直接依赖和间接依赖分别放在两个不同的 require 代码块中。</p>
<p>也就是上文所见到的内容。</p>
<h2 id="总结">总结</h2>
<p>自从 Go 语言推出 Go modules 依赖，module 一直不断地在优化和改进。虽然看上去已经越来越好用了，但依然似乎存在不少问题。</p>
<p>就拿本次变更来讲，我也是在好朋友的 Go 微信群中看到提问，才思考了起来。因为大家看到第二块 require 时，虽然知道是间接依赖的包，但更明确，为什么要单独出来？</p>
<p>大家其实是不大理解的，本次变更也可能存在语义不清，不够明确的情况。但无论如何，后续我们可以继续观察。</p>


                                        
                                        
                                        
                                        <div class="rp4wp-related-posts">
                                            <h3>相关文章</h3>
                                            <ul>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/site-history/">分久必合，golang.org 将成为历史！</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/117-generics/">Go 1.17 支持泛型了？具体怎么用</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/runtimepark/">Goroutine 一泄露就看到他，这是个什么？</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/plugin/">Go 插件系统，一个凉了快半截的特性？</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/len/">迷惑了，Go len() 是怎么计算出来的？</a>
                                                    </div>
                                                </li>
                                                
                                            </ul>
                                        </div>
                                        
                                        
                                    </div>

                                    
                                    
                                    

                                    
                                    <div class="post-meta">
                                        
                                        
                                        <div class="post-tags">
                                            <ul>
                                            
                                            <li>
                                                <a href="/tags/go" title="View all posts tagged match">go</a>
                                            </li>
                                            
                                            </ul>
                                        </div>
                                        
                                        
                                        <nav class="further-reading">
                                            
                                            <div class="previous">
                                                <span>&lt;&lt; Prev</span>
                                                <a href="https://www.lican.asia/posts/posts/go/site-history/"
                                                    rel="prev">分久必合，golang.org 将成为历史！</a> </div>
                                            
                                            
                                            <div class="next">
                                                <span>Next >></span>
                                                <a href="https://www.lican.asia/posts/posts/go/117-performance/">Go1.17 新特性，凭什么提速 5~10%？</a> 
                                            </div>
                                            
                                        </nav>
                                    </div>
                                    
                                    

                                    
                                    
                                    

                                </div>
                            </article>
                        </div>
                    </div>
                </section>
                <aside class="sidebar sidebar-primary" id="sidebar-primary" role="complementary">
    <h1 class="screen-reader-text">Sidebar</h1>
    

    
    
    <section id="text-2" class="widget widget_text">
        <div class="textwidget">
            
            <div id="profile">
                <div id="profile_picture"><img src="https://www.lican.asia/logo/logo.png"></div>
                <div id="profile_intro">
                    <p><span class="name">Lican</span></p>
                    <p class="intro">全栈开发者，爱好造轮子。</p>
                </div>
            </div>
            
            <p>
                <script type="text/javascript">
                    (function ($) {
                        $(document).ready(function () {
                            var menuPrimaryContainer = $('#menu-primary-container');
                            var profile = $('#text-2');
                            $('#toggle-navigation').click(function () {
                                if (menuPrimaryContainer.hasClass('open')) {
                                    profile.removeClass('open');
                                } else {
                                    profile.addClass('open');
                                }
                            });
                        });
                    })(jQuery);
                </script>
            </p>
        </div>
    </section>
    
    
    
    
    
    <section id="text-5" class="widget widget_text">
        <h2 class="widget-title">开源项目</h2>
        <div class="textwidget">
            <div id="projects" style="line-height: 22px;">
                
                <a href="https://github.com/idoubi/gonews"
                    target="_blank">gonews</a>: &nbsp;Daily news for golang<br>
                
                <a href="https://github.com/idoubi/sql2struct"
                    target="_blank">sql2struct</a>: &nbsp;Generate go struct according to SQL<br>
                
                <a href="https://github.com/idoubi/goz"
                    target="_blank">goz</a>: &nbsp;Request library used in golang<br>
                
        </div>
    </section>
    
    

    
    
    
    
    <section id="qrcode" class="widget widget_media_image">
        <h2 class="widget-title">微信公众号</h2>
        <img width="258" height="258"
            src="https://www.lican.asia/wechat/lican.png"
            class="image wp-image-5514  attachment-full size-full" alt=""
            style="max-width: 100%; height: auto;"
            sizes="(max-width: 258px) 100vw, 258px">
    </section>
    
    

    
    
    

    
    
    

    
    
    
    
</aside>
            </div>
        </div>

        <footer id="site-footer" class="site-footer" role="contentinfo">
    <div class="max-width">
    </div>
    <div class="footer">
        <div id="footercontent">
            © lican.asia All rights reserved<br/>
            Built with Hugo Theme <a href="https://github.com/idoubi/hugo-theme-period" target="_blank">Period</a>
        </div>
    </div>
</footer>

<script>
    var _hmt = _hmt || [];
    (function() {
      var hm = document.createElement("script");
      hm.src = "https://hm.baidu.com/hm.js?e8351b6d4626d5881d439ea1f6184baa";
      var s = document.getElementsByTagName("script")[0]; 
      s.parentNode.insertBefore(hm, s);
    })();
</script>
    
    
    </div>
    
</body>

</html>